[アップデート]5倍早いEFS File Syncを試して見た #reinvent

コンニチハ、千葉です。

EFSに機能アップデートがありEFS File Syncがという機能が追加されました。 (5日くらい前にアップデート通知はありましたが、試せてなかったので...今記事書きました！

EFS File Syncとは

オンプレのファイルやクラウド上のファイルを高速安全にEFSへコピーすることができます。Linuxのコピーに比べて最大で5倍早いとうたっています。 データ転送中のデータは暗号化されセキュアにコピーができます。リージョン間コピーもできるのでDR目的のバックアップでも使えそうです。

同期したデータは、パーミッション、タイムスタンプなどもコピーされます。

料金体系も新たに追加されています。同期したデータ量に応じた従量課金になります。 https://aws.amazon.com/jp/efs/pricing/#filesync

やってみた

東京リージョンのEC2上のデータをバーニジアリージョンのEFS上にコピーして見ます。

前提

東京リージョンのEC2

東京リージョンにEC2を作成します。 コピーするファイルの配置とNFSを有効にしておきます。 ファイルは適当に1000ファイル用意しました。

状態はこんな感じです。

[root@ip-172-31-17-89 ~]# cat /etc/exports
/data *(rw,sync,no_root_squash)
[root@ip-172-31-17-89 data]# ls
0.txt    135.txt  170.txt .....

バージニアのEFSの用意

バージニアにEFSを作成しておきます。

バーニジアリージョンでやること

1.同期エージェントの起動。オンプレの場合はVM、EC2の場合はAMIが提供されます

EFSの画面から「EFS Sync」を選択肢、新規作成します。EC2、東京リージョンを選択し「Launch Instance」より、インスタンスを作成します。

• インスタンスサイズは、xlarge以上を選択。r4xlargeが推奨とのこと
• 今回はリージョン間かつインターネット経由でアクティベーションするので、パブリックIPを有効にします。VPC内通信(アクティベーション、EFS)であれば無効でも問題ないです
• アクティベーションのため、セキュリティグループは自端末からの80番ポートを許可します
• エージェントからNFSマウントできるように、NFSサーバのセキュリティグループを設定します

EFSの画面に戻り、エージェント用のEC2のバブリックIPを入力します。

任意のエージェント名を入力します。

エージェントとして登録できました。

2.同期タスクの作成

同期タスクを作成します。

エージェントサーバからNFSマウント先のIPアドレスと、マウントポイントを入力します。また、エージェントを指定します。

コピー先のEFSを指定します。

コピーするメタデータ、sync時にファイルを削除するか、ファイルの一貫性を保つために検証を行うかを設定します

NFSとEFSをマウントできました

3.同期タスクを開始

同期タスクを開始します。

履歴をみると成功したようです。

実際にEFSをマウントして同期できているか確認しました。

[ec2-user@ip-172-31-58-133 ~]$ ls efs/
0.txt    135.txt  170.txt  ...

問題なく同期できてます！

さいごに

EFS File Syncを利用して、東京のデータをバージニアのEFSへバックアップしてみました。Linuxのコピーより5倍早いということで、EBSデータのバックアップ、リージョン間バックアップなどにも使えそうです。バックアップの選択肢が増えましたね。早く東京でGAしないかな〜。

参考

• https://aws.amazon.com/about-aws/whats-new/2017/11/sync-files-to-amazon-elastic-file-system-quickly-easily-and-securely-with-efs-file-sync/
• https://aws.amazon.com/jp/efs/faq/#filesync
• http://docs.aws.amazon.com/ja_jp/efs/latest/ug/gs-step-four-sync-files.html
• http://docs.aws.amazon.com/ja_jp/efs/latest/ug/walkthrough-file-sync-ec2.html